RoPE-Aware Bit Allocation for KV-Cache Quantization
RoPE感知的KV缓存比特分配量化方法
🧭 LLM 推理 · KV cache 量化 · RoPE 感知比特分配 ★ 深度解读
Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Xiaomi Corporation
将RoPE注意力下的KV缓存量化建模为按频率块分配比特的优化问题，用能量分数贪心分配显著减少查询-键logit误差并提升长文本性能
📌 工作参考价值（4 点）
- 部署长上下文LLM（如客服、历史行为分析）时，可借鉴RoPE分块的能量分布实现差异化比特分配，在相同压缩率下大幅减少关键信号失真，避免统一量化在低比特下的质量崩塌。
- 使用无标签的激活统计量（Q/K向量的2-范数）计算分块重要性，无需下游任务反馈，适合线上快速校准（仅需少量无标注前缀）。
- 工程实现参考：采用packed cache布局和融合attention核，直接解压缩到临时寄存器，避免物料化fp16 KV缓存，可有效降低显存带宽压力，使长上下文解码速度超过fp16基线。
- 方法的核心思路（按结构单元动态分配精度）可迁移至其他位置编码或特征交互场景，例如推荐模型中的特征域重要性差分量化。